SuperMap大数据GIS技术

SuperMap大数据GIS技术体系

随着大数据时代的到来，超图软件贯穿空间大数据全过程各个环节实现技术创新，将大数据存储管理、大数据空间分析和大数据流处理等技术与SuperMap GIS技术深度融合，全面扩展对大数据的支持能力，形成了全新的空间大数据GIS技术体系，体现为如下特点：

通过对分布式文件系统、分布式数据库的扩展支持，实现对空间大数据高效稳定的存储管理能力；
提供了SuperMap iObjects for Spark空间大数据组件，从内核扩展了Spark空间数据模型，不仅基于分布式计算技术重构了已有的空间分析算法，大幅提升了海量空间数据分析的效率，并且针对大数据研发了一系列新的空间分析算法，可直接嵌入到Spark内运行，解决了空间大数据分析和应用难题；
SuperMap iServer提供了全新的空间大数据存储、空间大数据分析、流数据处理等Web服务，并内置了Spark运行库，降低了大数据环境部署门槛；
提供了表现形式丰富的、二维三维兼具的各种聚合图、密度图、关系图、热度图等空间大数据可视化技术，突破海量动态目标二维和三维可视化技术，支持50万级目标同屏实时动态跟踪及管理。
SuperMap iManager通过资源智能调配、任务自动化调度、资源监控与预警，轻松实现大数据运维管理。

大数据GIS技术着重解决两类问题：新兴的空间大数据的管理和传统（经典）空间数据的计算性能问题。因此，大数据GIS技术体系架构就包含两个非常重要的部分，如下图大数据GIS技术体系所示。一个是空间大数据技术，专门针对空间大数据的处理和分析挖掘；另一个是经典GIS功能的分布式重构，专门针对经典空间数据的管理和处理。

该技术体系通过从GIS内核级别深度结合IT的大数据技术，诸如分布式存储技术、分布式计算框架、流数据处理框架等，在GIS基础软件中构建针对空间大数据的存储、索引、管理和分析能力，让更多人仅需较少编程甚至不用编程就能管理和分析空间大数据，大幅降低了空间大数据分析的门槛。同时，利用IT的分布式存储和分布式计算框架，重构了经典GIS的经典空间数据处理和空间分析方法，实现了经典空间数据处理与分析性能的数量级提升。

大数据支撑技术

SuperMap大数据GIS技术包括两大支撑技术——云GIS技术和跨平台GIS技术。云计算作为计算、存储的资源层，可以为上层的大数据处理提供弹性的、可伸缩的资源管理能力。如今，主流IT大数据技术都原生于Linux操作系统，基于Linux处理大数据会更加的稳定和高效，如果GIS基础软件与大数据技术深度融合，GIS基础软件就需要原生支持跨平台。对于SuperMap来说，在2006年就发布了全新的跨平台基础软件，在2013年发布了基于云端一体化的云GIS平台软件，为SuperMap大数据GIS基础软件的高效、稳定、可靠提供了坚实的技术基础。

跨平台GIS技术

2001年，基于对GIS应用发展趋势的准确判断，超图开始基于标准C++完全重构GIS内核，目标是建立一套高性能、跨操作系统的GIS技术体系。经过十余年的积累，目前SuperMap GIS系列产品已能够支持包括X86、POWER、ARM(飞腾1500A)、MIPS(龙芯)等多种架构的CPU，以及在这些设备中运行的包括Windows、Linux、AIX 、K-UX在内的多种操作系统；同时，跨平台GIS技术体系也令超图得以快速推出支持iOS和Android，并具有强大离线功能和二三维一体化能力的全功能移动GIS开发平台软件，使移动GIS应用也能适应对数据保密、流量受限或不具备无线网络条件等方面有严苛要求的应用场景。
整体而言，跨平台技术体系具备两大特点：

全系列产品支持跨平台，不仅仅支持多种操作系统，同时支持多款架构的芯片，涵盖现在主流的CPU指令集，包括：持x86、ARM(如飞腾、元心) 、MIPS(如龙芯) 、Alpha(如申威)、 Power。
应用与数据多平台无缝迁移。SuperMap GIS系列产品基于标准C++及java实现，提供多平台一致的GIS功能以及java、C++语言的二次开发能力。利用两种语言的特点，实现应用与数据在多平台间无缝迁移。

云端一体化技术

云端一体化GIS 包括云GIS、端GIS 和云端协同技术。
云GIS 全面支持微服务架构、容器化技术，支持云原生架构，依托于高性能跨平台的SuperMap iServer、高效整合共享的SuperMap iPortal、智能运维管理的SuperMap iManager，实现集约化GIS 云平台。

端GIS 包括PC 端、Web 端、移动端，其中PC 端包括组件GIS 和桌面GIS；Web 端包括插件客户端和无插件客户端；移动端包括胖客户端和瘦客户端。

云端协同技术提供统一服务接口，通过SuperMap iPortal 的跨组织在线协同、SuperMap iServer 的服务聚合、SuperMap iEdge 的边缘计算，实现多端互联、协同共享的GIS 应用模式。

如上图SuperMap云端一体化的GIS技术体系所示，超图软件为用户提供强大的云GIS 平台软件，配套丰富多样的GIS 应用终端，协助用户更快速地搭建高效、稳定的云GIS 系统，满足更多样化、普适化、专业化的应用需求。

SuperMap大数据技术

SuperMap GIS是全面拥抱大数据GIS的基础软件，SuperMap大数据GIS技术体系主要包括空间大数据的存储管理、空间分析、流数据处理与可视化等技术。同时，基于IT 大数据技术重构传统GIS，支持海量经典空间数据的分布式存储、处理与分析，实现数量级的性能提升。如下图SuperMap大数据GIS技术体系所示：

SuperMap大数据存储

GIS的数据来源具有多源异构、海量、多比例尺、多时空尺度的特点，因此空间大数据的存储成为GIS项目一大难点。超图采用分布式的存储方法，将数据存储在不同的数据库中，如HBase、HDFS、Postgres-XL、MongoDB等。同时，通过数据目录服务将所有的数据注册成为数据源，实行统一管理，实现了海量数据物理上分布、逻辑上统一。

SuperMap SDX+是SuperMap GIS平台中的空间大数据引擎模块，支持文件空间数据库、关系型地理数据库、分布式地理数据库等，如UDBX、HDFS、Postgres-XL、MongoDB、Elasticsearch、HBase等。其中，UDBX数据库引擎主要是对自定义的 UDB 引擎的扩展和增强，功能更加稳定，数据文件损坏概率更低，提供Geo SQL能力；该数据库可以和第三方软件互操作，不影响用户对原有数据库的继续使用；同时，支持多进程同时打开，方便数据源的同时应用，如对同一数据源进行不同风格配图。HBase数据库引擎支持多种数据格式，多种坐标，提供海量数据高并发、高效查询能力，具有高性能、可弹性伸缩及分布式特性，支持PB级大数据存储，同时满足千万级QPS并发。与HDFS数据库相比，查询能力更强。Postgres-XL引擎具有横向扩展能力的开源SQL数据库集群，具有足够的灵活性来处理不同的数据库任务。通过集群进行数据库的分库分表来存储管理海量数据，并利用空间索引分区技术，实现快速查询。

SuperMap大数据分析

SuperMap GIS 9D（2019）产品平台从内部和外围与Spark技术进行全方位的深度融合，提供Spark Standalone集群模式和Spark YARN集群模式两种计算环境，帮助用户便捷高效的进行大数据处理与分析。SuperMap基于FeatureRDD模型构建了超过41个分布式空间数据处理和分析算子，来支持用户多样化的数据分析需求，帮助用户从空间、时间、属性多个维度了解和认知大数据，同时提供更加强劲的分析性能，挖掘更多有价值的信息。

SuperMap GIS 9D（2019）中大数据分析算子包括全新空间大数据算子、经典分析算子（面向矢量和面向栅格）的分布式扩展、面向流数据处理的分析算子。

如上图SuperMap中大数据分析算子所示，其中，全新空间大数据算子是面向新型的，含有地理空间位置信息的IT大数据进行的分析，主要应用在浮动车轨迹、手机信令、社交网络、物联网等场景中；面向矢量/面向栅格的分布式扩展则是聚焦在传统强GIS领域，对国土测绘等行业中的超大规模数据进行数据处理和空间分析；面向流数据处理的分析算子主要实现对流数据的自动化处理等；另外，超图还提供面向行业的专业分析算子主要是针对不同行业需求及应用场景，通过超图和行业伙伴共同研制开发提供定制化的行业算子。

SuperMap流数据处理

SuperMap空间大数据技术也提供了对流数据处理的能力。流数据具有顺序、快速、海量、持续到达的特征，为该类型的数据处理带来了麻烦。超图基于Spark Streaming技术封装了SuperMap iServer的流数据处理服务，可以实现自动化地处理机制、持续地输出结果。超图支持了包括地图匹配、路况计算和地理围栏等流式计算功能。

SuperMap大数据可视化

大数据空间可视化方面，超图融合开源的地图框架如OpenLayers、Leaflet、MapBox GL等、开源的可视化框架MapV、EChart等，封装成统一的SuperMap iClient 开发接口，为用户提供酷炫、动态、直观的可视化展示效果。

SuperMap大数据GIS基础软件架构

SuperMap大数据GIS产品中，采用了新一代的Spark分布式计算处理框架来开发大数据GIS处理平台。如下图基于Spark大数据框架的SuperMap所示：

SuperMap通过将全功能的组件式GIS软件SuperMap iObjects嵌入到Spark中，为空间大数据提供了查询、索引、处理和分析等GIS能力支持；同时基于SuperMap iObjects封装为Web接口，通过SuperMap iServer云GIS应用服务器调度Spark，Spark再调度iObjects组件实现基于Web的大数据存储、分析能力。SuperMap也提供了丰富多样的端产品APP以及相关的SDK，为桌面端、Web端、移动端的用户实现功能交互以及可视化展示；并提供了SuperMap iManager为云平台或者物理服务器的大数据环境提供运维管理能力。

如上图SuperMap大数据GIS基础软件架构所示，SuperMap大数据GIS基础软件的框架包括：数据存储方面提供了分布式空间存储数据引擎Postgres-XL、MongoDB、Elasticsearch、HDFS、HBase等，为空间大数据提供高效的存储基础；基于SuperMap iObjects Java与Spark技术框架融合，形成了空间大数据组件层，具有全功能的分布式计算的空间大数据核心能力，包括数据管理能力、空间分析能力、流数据处理能力等；基于组件能力封装成服务接口，为SuperMap iServer新增了数据目录服务、分布式分析服务以及流数据处理服务的能力；基于C/S架构的组件GIS大数据能力和B/S架构的WebGIS大数据能力，提供了SuperMap iDesktop Java（PC端）、SuperMap WebApps（Web端）、SuperMap iClient JavaScript/Python（Web端）、SuperMap iMobile（移动端）等可以调用SuperMap iServer的服务或者SuperMap iObjects的组件功能来进行空间大数据处理和可视化展示的多样化GIS端；提供了SuperMap iManager为云平台或者物理服务器的大数据环境进行统一地运维管理。

SuperMap大数据GIS技术特点

全平台支持大数据能力

SuperMap 大数据GIS继承了SuperMap 云GIS的技术资产，在原有云端一体化GIS技术体系、跨平台GIS技术体系的基础上，扩展形成了大数据GIS技术体系。也就是说SuperMap 大数据GIS完全具备空间大数据的存储、分析、服务和可视化的相关能力，同时实现了已有技术体系与大数据技术的深度融合，在已有的技术方案基础上提供了可靠易用的空间大数据GIS解决方案。

如上图SuperMap 大数据GIS全平台扩展大数据能力所示，SuperMap 从各个平台产品都扩展了大数据技术能力，可以提供更海量数据的存储能力，提供更多数据来源、数据类型的管理能力，提供更快的数据处理能力，提供更多元、更实用的可视化展示能力。SuperMap不仅仅只有大数据，同时对大数据基础设施的运维管理、大数据资源门户管理等时空大技术延伸技术辅助也提供了完备的技术方案。
SuperMap的大数据技术体系的功能设计理念是完全从用户的业务需求出发，使大数据技术与原有GIS技术能力实现互补，真正使用空间大数据的技术去解决用户面临的问题，提供更加强大、更加实用、更加可靠的空间大数据技术支持。

全流程体现大数据技术

SuperMap产品涉及全生命周期的大数据处理流程，从大数据收集及处理、大数据存储、大数据分析、大数据服务到可视化展示，每个环节都实现了产品级的功能扩展，真正实现了大数据技术的内外兼修。

如上图SuperMap平台全流程体现大数据技术所示，SuperMap iDesktop.NET/Java或基于SuperMap iObjects的行业二次开发应用提供了从大数据收集、清洗、转换、融合、质检、编辑等多项可视化配置处理流程，既支持传统的矢量数据、影像数据，也支持新型的倾斜摄影、BIM、街景、点云数据，同时支持海量结构化或非结构化的互联网数据。SuperMap SDX + Big Data空间大数据引擎，实现了对矢量数据、切片数据、流数据的空间大数据的分布式高效存储能力。基于iObjects组件内嵌Spark分布式计算架构，提供了空间大数据分布式计算分析能力，对传统GIS分析算子进行分布式计算能力重构，同时开放了组件的定制开发能力。基于SuperMap iServer的服务扩展，提供了大数据分析服务、空间大数据存储服务和流数据服务能力。同时，提供了更加丰富的热力图、密度图、OD图等大数据可视化展示效果。

全方位降低使用门槛

SuperMap大数据平台产品封装并内置Spark环境，所有产品技术细节对用户透明，化繁为简，让熟悉云平台的用户无缝平滑过度到大数据平台中，所有操作仍然沿用更友好的可视化界面部署步骤，真正实现安装即用的用户体验，极大降低了大数据GIS平台的部署和使用门槛。如下图SuperMap实现技术整合透明化所示：

大数据技术架构多采用分布式技术，通过对已有的SuperMap SDX+引擎扩展大数据能力，对分布式数据库如Postgres-XL、MongoDB、Elasticsearch、HBase实现对接，同时支持分布式文件系统HDFS。为了降低用户使用和管理门槛，通过iServer DataStore实现多种数据存储应用场景的集成，为用户提供集中化管理，统一数据访问入口。同时SuperMap平台深度融合Spark技术，并基于Spark数据类型扩展空间能力，重新封装空间分析算子。该技术细节对用户透明，用户可以像使用普通版本一样去执行具有分布式计算能力的空间分析工具。

从分布式存储到分布式计算，为了更好的对空间大数据基础设施以及运行环境实现运维管理，利用SuperMap iManager实现大数据环境的快速构建、智能化的资源管理和监控告警，让大数据运维更加的简单快捷。如下图SuperMap实现运维管理智能化所示：

全天候保证快速高效

随着大数据时代的到来，超图软件贯穿空间大数据全过程各个环节实现技术创新，将Spark技术与SuperMap GIS 技术深度融合，全面扩展对大数据的支持能力。SuperMap iObjects for Spark模块从内核扩展了Spark 空间数据模型，不仅基于分布式计算技术重构了已有的空间分析算法，大幅提升了海量空间数据分析的效率，并且针对大数据研发了一系列新的空间分析算法，可直接嵌入到Spark 内运行，解决了空间大数据分析和应用难题。SuperMap iServer 提供了全新的空间大数据分析、流数据处理等Web 服务，并内置了Spark 运行库。

如下图SuperMap GIS与Spark技术深度融合所示，SuperMap iObjects是基于标准C++构建的，功能强大、性能稳定、具备高度的可移植性以及极强的扩展能力。在此基础上与Spark技术深度融合，形成SuperMap iObjects for Spark模块，技术体系一脉相承、结构完整。另外，底层C++语言相比较java更加稳定、性能更高。

超图软件不断创新和发展GIS 技术，实现与大数据技术的深度融合，致力于为用户提供强大的空间大数据GIS 基础软件及服务，降低技术门槛，让更多用户能够轻松管理与挖掘空间大数据“金矿”。
SuperMap平台内嵌了第二代大数据计算框架Spark技术，较第一代大数据计算框架MapReduce性能呈几何级递增。数据分析服务为用户提供多种基于全新并行处理架构的空间分析能力，与分布式大数据存储机制实现双轮驱动，尽可能减少磁盘I/O和网络I/O的性能损耗，让空间大数据分析更快速、更高效、更稳定。在对已经支持的具有分布式计算能力的空间分析算子的测试结果看，相比较传统模式性能有几十倍的提高。

如下图某省测绘局数据叠加分析所示，以某省矢量数据叠加分析为例，进行测试，可知使用分布式计算比传统计算模式性能提升20倍。大数据分析计算性能提升的多少主要受节点数及数据量的影响。其中，节点数越多，大数据计算速度越快；数据量越大，性能提升的幅度越大，大数据分析计算的优势越明显。

如下图地形适宜性分析所示，以全球DEM数据地形适宜性分析为例，进行测试，可知使用分布式计算比传统计算模式性能提升50倍。另外，大数据分析计算性能提升的多少主要受节点数及数据量的影响。其中，节点数越多，大数据计算速度越快；数据量越大，性能提升的幅度越大，大数据分析计算的优势越明显。

SuperMap 大数据分析计算随着节点的增加，计算时间越短，性能越高。如下图格网汇总分析多节点测试所示，在网格汇总分析多节点测试中，随着节点数目的增加，计算耗时越少。

全自动实现随需所用

由于SuperMap将Spark的集群架构技术融合到SuperMap iServer集群架构中，实现了基于SuperMap iServer多层次集群的大数据处理能力，同时通过SuperMap iManager实现了为上层虚拟GIS云主机集群提供智能化的资源管理能力和弹性伸缩能力。如下图SuperMap实现自动化弹性伸缩所示：

用户只需要预先设置CPU负载、内存负载、网络负载的相关阈值，便可以实现自动化的弹性伸缩。当前端并发访问或者分布式计算压力超过设置的阈值时，系统会自动增加集群子节点实现负载均衡，这样可以保证整个集群以及相关地图服务的高效稳定运行；反过来当相关负载小于设置阈值，系统会自动减少一个子节点，将资源归还到整体资源池，真正实现硬件资源的“随机应变”，达到资源的集约化利用。

全体系实现多端接入

SuperMap在桌面端、Web端、移动端提供了多种GIS SDK与通用型应用软件，采用统一的服务接口连接GIS云和大数据服务，实现了跨终端的GIS业务应用开发与GIS资源访问。同时Super Map在各个端平台增加了更加丰富多样的可视化展示效果，包括热力图（二维、三维、动态）、聚合图（格网、蜂窝、圆圈）、密度图、OD图等等。此外，SuperMap也提供了基于SuperMap iPortal/Online等可视化展示平台，对空间大数据分析结果实现多维度展示方式和深度挖掘，真正实现了百花齐放、多端接入、即拿即用的用户体验。

全方面提供分析算子

新一代SuperMap GIS对用户提供从组件到Web的大数据分析能力，为用户挖掘分析大数据提供支持。
其中，基于组件的大数据分析算子为超图独有。用户可以直接调用iObjects 组件获得基础的大数据分析能力，且该组件支持跨平台、多种语言等。另外，当用户需要适用于行业内部的专业数据分析模型时，可以通过定制的方式获得模型算子。该方式主要适用于C/S架构，可以帮助用户开发丰富多样、功能强大的桌面产品。

同时，超图将大数据分析算子封装，以Web服务的方式发布，用户可以在浏览器端或移动端，调用接口，获得相应的大数据分析功能。该方式主要适用于B/S架构，具有更加丰富和生动的表现方式与用户交流。

综上可知，超图提供了从组件到Web端的大数据分析算子，用户可根据不同应用场景及技术架构，选择合适的模型算子。

在SuperMap GIS 中，为用户提供了丰富的空间分析工具，帮助用户从空间、时间、属性等多个维度了解和认知大数据，同时提供更加强劲的大数据分析挖掘能力。

SuperMap GIS 9D（2019）中大数据分析算子既包括全新空间大数据算子、经典分析算子的分布式扩展(包括矢量数据和栅格数据)、面向流数据处理的分析算子，还包括面向行业的专业分析算子。其中，全新空间大数据算子是面向新型的，含有地理空间位置信息的IT大数据进行的分析；经典分析算子的分布式扩展则是聚焦在传统强GIS领域，对国土测绘等行业中的超大规模数据进行数据处理和空间分析，包括矢量数据和栅格数据分析算子；面向流数据处理的分析算子主要实现对流数据的自动化处理等；面向行业的专业分析算子主要是针对不同行业需求及应用场景，超图提供定制化的行业算子，主要通过超图和行业伙伴共同研制开发。

全产品适用不同场景

SuperMap平台可根据不同场景，为用户构建大数据GIS，主要包括：

当用户没有大数据平台，则通过内置Spark技术的SuperMap平台提供空间数据管理与分析能力，以及大数据处理能力。一方面使得用户拥有了空间数据分析GIS平台，一方面使得用户拥有了大数据能力，节约成本。SuperMap iServer 中提供了基于 Spark 计算框架运行的分布式分析服务和流数据服务等，并内置了 Spark 安装包，可以实现一键部署大数据环境。
当用户已经有了专业的大数据平台，可以将SuperMap GIS嵌入到大数据平台中，提供对空间数据的存储、管理、分析及可视化展示等功能。快速集成用户已有的Spark集群，实现对原有资源的继续利用，避免资源浪费。